StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding
StreamArena:面向连续交互的长时流式视频理解基准与双层架构
🧭 长时间流式视频理解Agent架构
The Hong Kong University of Science and Technology · Xiaohongshu Inc. · The University of Hong Kong · The Chinese University of Hong Kong
提出小时级流式视频理解基准StreamArena和双层架构StreamMind,解耦实时交互与长期多模态记忆
📌 工作参考价值(4 点)
- 异步记忆与实时交互解耦:前后端分离架构可借鉴到电商直播监控中,前端快速响应实时关键词检测、用户提问,后端异步构建直播长时记忆并支持历史事件搜索,避免阻塞交互。
- 多模态持久状态复用:后端构建持久化的多模态记忆(非纯文本),保留视觉证据,降低重复压缩损失,可用于长时间直播流的商品出现记录、主播话术回溯等场景,减少重复计算。
- 主动干预能力:StreamMind的主动监控模块可迁移至直播推荐系统,在检测到预设事件(如商品展示、主播口播优惠)时主动向用户推送提示卡片,提升互动转化。
- 外部工具集成:架构支持按需调用外部搜索,可应用于实时查询商品详情、比价等,增强Agent在电商场景中的实时信息获取与回答准确率。